One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA
每个多模态证据一个Token：面向资源受限问答的潜在记忆
🧭 潜在记忆表示 · 多模态RAG效率优化 ★ 深度解读
National University of Singapore
提出 Latent Memory，将多模态证据压缩为单潜在Token进行检索与生成，以3-10倍更少生成Token达到竞争性能。
📌 工作参考价值（4 点）
- 多模态商品/内容压缩：在电商搜索或推荐中，将商品图文、详情页等证据压缩为单个潜在Token，存储和生成成本大幅降低，同时通过联合训练保留检索和生成所需的信息。
- Agent记忆管理：借鉴 Latent Memory 将Agent交互历史、工具返回等多模态证据压缩为潜在Token库，支持高速相似性检索和直接注入生成，适合资源敏感的端侧Agent。
- 三目标训练范式：重建（保持内容）+ 对比（对齐查询与证据）+ 蒸馏（适配冻结生成器）的联合优化，可迁移至其他需要连续表示与检索的场景，如对话状态压缩、用户行为建模。
- 跨域泛化：在 HotpotQA 训练的压缩器直接用于多领域QA，表明压缩出的潜在Token具有良好迁移性，可借鉴以降低电商跨品类/跨场景的重复训练成本。